如果没有巨大的数据集,许多现代的深度学习技术就无法正常工作。同时,几个领域要求使用稀缺数据的方法。当样本具有变化的结构时,此问题甚至更为复杂。图表示学习技术最近已证明在各种领域中都成功。然而,当面对数据稀缺时,就业的体系结构表现不佳。另一方面,很少的学习允许在稀缺的数据制度中采用现代深度学习模型,而不会放弃其有效性。在这项工作中,我们解决了几乎没有图形分类的问题,这表明将简单的距离度量学习基线配备了最新的图形嵌入式嵌入者,可以在任务上获得竞争性结果。虽然体系结构的简单性足以超越更复杂的功能,它还可以直接添加。为此,我们表明可以通过鼓励任务条件的嵌入空间来获得其他改进。最后,我们提出了一种基于混合的在线数据增强技术,该技术在潜在空间中起作用,并显示其对任务的有效性。
translated by 谷歌翻译
Modern statistical learning algorithms are capable of amazing flexibility, but struggle with interpretability. One possible solution is sparsity: making inference such that many of the parameters are estimated as being identically 0, which may be imposed through the use of nonsmooth penalties such as the $\ell_1$ penalty. However, the $\ell_1$ penalty introduces significant bias when high sparsity is desired. In this article, we retain the $\ell_1$ penalty, but define learnable penalty weights $\lambda_p$ endowed with hyperpriors. We start the article by investigating the optimization problem this poses, developing a proximal operator associated with the $\ell_1$ norm. We then study the theoretical properties of this variable-coefficient $\ell_1$ penalty in the context of penalized likelihood. Next, we investigate application of this penalty to Variational Bayes, developing a model we call the Sparse Bayesian Lasso which allows for behavior qualitatively like Lasso regression to be applied to arbitrary variational models. In simulation studies, this gives us the Uncertainty Quantification and low bias properties of simulation-based approaches with an order of magnitude less computation. Finally, we apply our methodology to a Bayesian lagged spatiotemporal regression model of internal displacement that occurred during the Iraqi Civil War of 2013-2017.
translated by 谷歌翻译
反事实解释体现了许多可解释性技术之一,这些技术受到机器学习社区的关注。它们使模型预测更明智的潜力被认为是无价的。为了增加其在实践中的采用,应在文献中提出反事实解释的一些标准。我们提出了使用约束学习(CE-OCL)优化的反事实解释,这是一种通用而灵活的方法,可满足所有这些标准,并为进一步扩展提供了空间。具体而言,我们讨论如何利用约束学习框架的优化来生成反事实解释,以及该框架的组件如何容易地映射到标准。我们还提出了两种新颖的建模方法来解决数据的近距离和多样性,这是实践反事实解释的两个关键标准。我们在几个数据集上测试CE-OCL,并在案例研究中介绍我们的结果。与当前的最新方法相比,CE-OCL可以提高灵活性,并且在相关工作中提出的几个评估指标方面具有卓越的性能。
translated by 谷歌翻译
我们介绍了一种新的分布式策略梯度算法,并表明它在优化机器翻译模型时,在培训稳定性和概括性绩效方面都优于现有的奖励感知培训程序,例如增强,最低风险培训(MRT)和近端政策优化(PPO)。我们称之为MAD的算法(由于在重要性加权计算中使用平均绝对偏差),它分布式数据生成器在Worker节点上每个源句子对多个候选者进行采样,而中心学习者则更新了策略。 MAD取决于两个降低差异策略:(1)一种有条件的奖励归一化方法,可确保每个源句子都具有正面和负面奖励翻译示例,以及(2)一种新的强大重要性加权方案,充当条件性熵正常化器。在各种翻译任务上进行的实验表明,使用MAD算法在使用贪婪的解码和梁搜索时,使用MAD算法学到的策略表现良好,并且学到的政策对训练过程中使用的特定奖励很敏感。
translated by 谷歌翻译
我们为学习限制建立了混合整数优化的广泛方法论基础。我们提出了一种用于数据驱动决策的端到端管道,其中使用机器学习直接从数据中学习限制和目标,并且培训的模型嵌入在优化配方中。我们利用许多机器学习方法的混合整数优化 - 焦点,包括线性模型,决策树,集合和多层的感知。对多种方法的考虑允许我们捕获决策,上下文变量和结果之间的各种潜在关系。我们还使用观察结果的凸船体来表征决策信任区域,以确保可信的建议并避免推断。我们有效地使用列生成和聚类来纳入这个表示。结合域驱动的约束和客观术语,嵌入式模型和信任区域定义了处方生成的混合整数优化问题。我们将此框架实施为从业者的Python包(OptiCl)。我们展示了化疗优化和世界食物计划规划中的方法。案例研究说明了在生成高质量处方的框架中的框架,由信任区域添加的值,加入多个机器学习方法以及包含多个学习约束的框架。
translated by 谷歌翻译
许多现实生活中的优化问题通常包含一个或多个没有明确公式的约束或目标。但是,如果可用数据,这些数据可用于学习约束。清楚地看到了这种方法的好处,但是需要以结构化的方式进行此过程。因此,本文提供了一个使用约束学习(OCL)进行优化的框架,我们认为这将有助于正式化和指导从数据中学习的过程。该框架包括以下步骤:(i)设置概念优化模型,(ii)数据收集和预处理,(iii)选择和培训预测模型,(iv)解决优化模型以及(v)验证和验证和验证和验证改进优化模型。然后,我们根据该框架回顾了最近的OCL文献,并强调了当前的趋势以及未来研究的领域。
translated by 谷歌翻译
背景:精确诊断颅底肿瘤对于提供个性化的手术治疗策略至关重要。由于肿瘤多样性和缺乏术中病理资源,术中诊断可能具有挑战性。目的:开发独立且平行的术中病理学工作流程,可以使用无标签的光学成像和人工智能提供快速准确的颅底肿瘤诊断。方法:我们使用了基于光纤激光,无标签,非消费性,高分辨率显微镜方法($ <$ <$ <$ <$ 60秒,每1 $ \ times $ 1 mm $ $^\ text {2} $),称为刺激的拉曼组织学(SRH),以对颅底肿瘤患者的连续多中心队列进行成像。然后,使用三种表示学习策略:跨渗透性,自我监督的对比度学习和监督对比度学习,使用SRH图像来训练卷积神经网络(CNN)模型。我们训练有素的CNN模型在持有的多中心SRH数据集上进行了测试。结果:SRH能够成像良性和恶性颅底肿瘤的诊断特征。在三种表示策略中,有监督的对比度学习最有效地学习了每种颅底肿瘤类型的独特和诊断SRH图像特征。在我们的多中心测试集中,跨渗透性达到了91.5%的总体诊断准确性,自我监督的对比度学习为83.9%,并且有监督的对比度学习为96.6%。我们训练有素的模型能够鉴定出肿瘤正常的边缘,并检测整个SRH图像中微观肿瘤浸润的区域。结论:具有训练有素的人工智能模型的SRH可以对颅底肿瘤标本进行快速准确的术中分析,以告知手术决策。
translated by 谷歌翻译